PredAct-Bench: Benchmarking Tool-Augmented Dialogue under Controlled Tool Noise
PredAct-Bench：在可控工具噪声下评测对话智能体
🧭 工具增强对话 · 人机信任校准 ★ 深度解读
University of Illinois Urbana-Champaign
提出首个在预测工具噪声下评估对话智能体的基准，发现LLM过度依赖工具而人类能更校准地采纳建议
📌 工作参考价值（4 点）
- 信任校准指标可迁移：RAIR/RSR 指标不依赖特定领域，可直接用于评估推荐解释或对话推荐场景中用户对AI建议的适当依赖程度，帮助诊断过度信任或忽视问题。
- 工具噪声注入方法论：在对话推荐系统中，可以像 PredAct-Bench 一样只对某些工具（如预测评分）注入可控噪声，而保持事实查询类工具准确，以此评估系统在噪声下的鲁棒性和用户行为变化。
- 多轮验证对话设计：所采用的“初始决策-工具对话-最终决策”流程可借鉴到电商Agent中，让用户先看推荐理由再通过追问验证（查历史、反事实），减少盲目采纳有噪声的推荐。
- 人类行为基线参考：论文显示人类会花更多时间、问更少但更有针对性的问题，这提示在设计推荐对话Agent时，不应追求短平快的交互，而应鼓励用户提出证据整合类问题以校准信任。